Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?
自动化科学机器学习：前沿 Agent 能否在真实场景中攀登科学之丘
🧭 科学ML自动化智能体评测与增强 ★ 深度解读
Anthropic Fellows Program · Anthropic
构建AGENT4SCI科学ML测试床，前沿Agent在20个基准上平均相对提升10.4%，加技能后达20.1%，提升主要来自工程技巧而非科学洞见
📌 工作参考价值（4 点）
- 三阶段隔离评测可直接迁移到广告/推荐的自动调参或 Agent 实验平台：让“跑实验的 Agent”看不到评估集，由独立评估 Agent 打分、审计 Agent 查作弊，可避免测试集泄漏和指标操纵。
- 在长时 AutoML 任务中加入“每小时自检”checklist，强制 Agent 回答“当前是否只在调 seed/lr”，可有效防止早收敛到局部超参搜索；电商/推荐模型调优可显式限制纯超参调优轮次，要求周期性提出新结构/新特征。
- research ideation 用夸张 persona + 文献挖掘引导提出更有领域结构的方法；在搜索/推荐中可让 Agent 先挖内部业务文档和公开论文，再提出具有业务/物理约束的辅助损失或架构调整，而不仅是换 backbone。
- 显式 experiment management 指令（并行实验、避免 CPU/GPU 争抢、实时监控）能显著提升长时任务效率，适合 12 小时级推荐模型重训或特征回放实验。